原由:

因公司教育訓練的課程, 我第一次參加- 恆逸資訊 (SYSTEX) 的 "微軟Azure雲端大數據工程師" 的課程。 一進到大廳和教室就覺得環境非常的乾淨，還有設備跟櫃台人員的服務都很和善，休息區有各式各樣的氣泡飲料(etc. sprite, coke...)、紅茶、綠茶、咖啡...總之環境明亮寬敞, 是個適合讀書和教學的地方。

進去教室前，工作人員會先給我們硬碟，Azure DP203的書, 上課相關的一些資訊, Azure Pass 密碼, 讓我們可以恆逸資訊已經先幫我們買了150 USD Azure Pass的點數讓我們可以實做看看, 4天下來我沒什麼動就花了57 USD, 而且我發現我只是關掉1個virtual machine (databrick-compute) 就燒了9 USD...不知道是我眼花還是databrick有那麼燒LOL, 總之4天的課程150 USD還算綽綽有餘, 但點數是有期限的要在啟用後, 30天內有效, 過了期限就沒效了。

由於課程的內容與實作, 有太多太多可以分享的, 會需要更多時間來寫相關的實作與概念, 上課的時間有限、課程內容也非常多, 課後需要花時間再去研讀和實作, 但由於交通的關係, 上完課回家整理好就差不多該睡了, DP203 的證照考試隔沒幾天(大約1星期)就要考了, 因為之前工作繁忙又確診...好了又在休養, 修養好後又繼續忙,還要跑鐵人OMG (>.<) 。 此次4日的課程為實作&概念講解, 考證照的考試內容需要自己研讀資料, 找答案, 雖然考試是英文對我較習慣, 但有很多專有名詞 & Azure的特有名詞...都需自己要好好研讀,找答案,熟悉...當工程師後, 才發現時間每分每秒的寶貴!

所以呢~今年就分享這4天的課程內容和大綱, 詳細內容有機會的話, 明年我再好好研究寫雲端(Azure, AWS, GCP)。如果對於想上恆毅資訊DP203有興趣的朋友們, 可以參考這4天的課程內容介紹喔!

課程內容:

註冊一個Azure的帳號, 使用SYSTEX給的Azure Pass 領取150 USD 的點數
登入到 Azure portal 更改語言設定為英文
在Azure Portal 中的 Subscription_Azure Pass 改名為 Azure Pass DP203

• 領取 Azure Pass 點數網站:https://www.microsoftazurepass.com/

• Azure Portal:https://portal.azure.com/?l=en.en-us#home

• Azure Synapse:https://web.azuresynapse.net

第一堂課, 介紹了Azure常用的幾個Module. Etc. DataLake, DataBrick, DataFactory, Azure Synapse, SQL Pools...
也講解了一些資料的處理過程, 像是什麼是ETL? ...第一天講解的大綱如下:

Module 0: Data Engineer in Azure Course overview

• About this course
  

• Course agenda
  

• Audience
  

• Prerequisites
  

• Course Lab setup
  

Module 1: Explore compute and storage options for data engineer workloads

• Introduction to Azure Synapse Analytics
  

• Describe Azure Databricks
  

• Introduction to Azure Data Lake storage
  

• Describe Delta Lake Architecture
  

• Work with data streams by using Azure Stream Analytics
  

Module 2: Run interactive queries using Azure Synapse Analytics serverless SQL Pool

• Explore Azure Synapse serverless SQL pools capabilities
  

• Query data in the lake using Azure Synapse serverless SQL pools 
  

• Create metadata objects in Azure Synapse serverless SQL pools
  

• Secure data and manage users in Azure Synapse serverless SQL pools
  

Course Overviews:

Azure Synapse Analytics (architecture)

Introduction to Azure Synapse Analytics

Synapse Link is a Cosmos DB

Modern data warehousing pattern with Azure Synapse Analytics

What is Azure Databricks?

• Apache Spark-based analytics platform
• Comprehensive Spark library support
• Enterprise Security
• Integration with other Cloud Service

What is Apache Spark

• Please refer in this web: https://learn.microsoft.com/en-us/azure/hdinsight/spark/apache-spark-overview

• Use connect-AzAccount -DeviceCode command in PoerSheel can connect Azure Account with your device. (During the course, some how you need to use it for geeting the specific documents)

• Azure CLI login: https://learn.microsoft.com/zh-tw/cli/azure/authenticate-azure-cli

• Enterprise Security: Azure Active Directory, Role based access control and Enterprise service level agreements

• Integration with cloud services: Data Lake, Cosmos DB, Data Factory, Power BI, Azure Synapse Analytucs, Blob Store, Cognitive Service

• Spark What to use when and where?

• Processing Big Data with Azure Data Lake Store: 1.Ingestion 2.Store 3.Prep & train 4.Model & Serve

• Compare Azure Blob Storage and Data Lake Store Gen2: Azure Blob Flat namespace & Data Lake (Gen2) Hierachical namespace

• Big Data use cases: Modern data warehouse, Advance analytics, Real time analytics

• Describe a Delta Lake architecture
  

• What are data streams?

• Processing events with Azure Stream Analytics: Source, Ingestion, Analytics engine, Destination

• Work with data streams by using Azure Stream Analytics : Event producer(Input), Complex Event Processor(Query), Event Consumer(Output)
  

總結：

老師會大約每天給你3篇GitHub 上面他寫的 Labs 讓你做, 第一天就是搭環境, 設定SQL Database, Virtual Machine, 此部分使用powershell(管理人員權限開啟), 需在自已的 Windows 上確定有安裝 Windows PowerShell 5.1 (Windows 10/11 內建)，沒有裝的可以到以下網址裝:
https://docs.microsoft.com/en-us/powershell/scripting/windows-powershell/install/installing-windows-powershell?view=powershell-7.2#upgrading-existing-windows-powershell

在使用Powershell 執行Labs 和其他設定commend 之前需要在自已的 Windows 上安裝 Azure CLI, 可以在此連結下載: https://docs.microsoft.com/zh-tw/cli/azure/install-azure-cli

Lab 的主要內容為架 Azure Databrick 的叢集, Import Notebook (code), Run the code in notebook and terminate the Cluster from Databrick "Comput",如何關掉Clusters, using serverless SQL Pools to Queres等等...更多詳細的資訊在課堂中, 老師講解得比較仔細, 有問題老師也會過來幫同學debug, 有問題都可以隨時問老師~

只是老師很忙也會準時上下課, 所以有問題就要即時問老師, 每天上課基本照著Labs做3篇, 聽老師講解一些ppt就差不多要下課了, 所以實作方面大概就copy >>> paste >>> run code >>> debug >>> run code >>> sucess >>> 晚下課 (但不能下課後的超過40分, 5點下課, 只能待到5:40不確定是否為規定還是有其他人要用? 又或者員工也要下班~?) 反正下課後回家就好晚了, Labs 上課時都無法好好的看details 和說明, 需要課後在自己再花時間研讀和實作, 不然就是run code 也不知道在上什麼 XD

Azure 點數的使用情況 (Usage rate) 可查此連結: https://www.microsoftazuresponsorships.com/balance